学习笔记DL006:特征分解，奇异值分解

特征分解。

整数分解质因素。

特征分解(eigendecomposition)，使用最广，矩阵分解一组特征向量、特征值。方阵?的特征向量(eigenvector)，与?相乘相当对该向量缩放非零向量?，??=λ?。标量λ为特征向量对应特征值(eigenvalue)。左特征向量(left eigenvector) ?ᵀ?=λ?ᵀ，右特征向量(right eigenvector)。?是?的特征向量，任何缩放向量??(?∈ℝ，?≠0)也是?的特征向量。??和?有相同特征值。只考虑单位特征向量。

矩阵?有?个线性无关特征向量{?⁽¹⁾,…,?⁽ⁿ⁾}，对应特征值{λ₁,…,λn}。特征向量连接成一个矩阵，每一列是一个特征向量，V=[?⁽¹⁾,…,?⁽ⁿ⁾]。特征值连接成一个向量?=[λ₁,…,λn]ᵀ。?的特征分解(eigendecomposition)，记?=Vdiag(?)V⁻¹。

构建具有特定特征值和特征向量矩阵，在目标方向上延伸空间。矩阵分解(decompose)成物征值和特征向量，分析矩阵特定性质。

每个实对称矩阵都可以分解成实特征向量和实特征值，?=Q?Qᵀ。Q是?的特征向量组成正交矩阵，?是对角矩阵。特征值?i,i对应特征向量是矩阵Q的第i列，记Q:,i。Q是正交矩阵，?看作沿方向?⁽i⁾延展λi倍空间。两多或多个特征向量拥有相同特征值，特征向量产生生成子空间，任意一组正交赂量都是该特征值对应特征向量。可等价地从特征向量构成Q替代。按降序排列?元素。特征分解唯一当且仅当所有特征值唯一。矩阵是奇异的当且仅当含有零特征值。实对称矩阵分解可用于优化二次方程f(x)=xᵀ?x，限制||x||₂=1。x等于?某个特征向量，?返回对应特征值。限制条件下，函数?最大值是最大特征值，最小值是最小特征值。

所有特征值是正数的矩阵为正定(positive definite)。所有特征值是非负数矩阵为半正定(positive semidefinite)。所有特征值是负数矩阵为负定(negative definite)。所有特征值是非正数矩阵为半负定(negative semidefinite)。半正定矩阵，保证∀x,xᵀ?x>=0。正定矩阵保证xᵀ?x=0 => x=0。

矩阵?有两个标准正交特征向量，对应特征值λ₁的?⁽¹⁾对应特征值为λ₂的?⁽²⁾。所有单位向量u∈ℝ²集合，构成一个单位圆。所有?u点集合。?拉伸单位圆方式，将?⁽i⁾方向空间拉伸λi倍。

奇异值分解(singular value decomposition,SVD)。

矩阵分解为奇异向量(singular vector)、奇异值(singular value)。奇异值分散应用更广泛。每个实数矩阵都有一个奇异值分解。非方阵矩阵没有特征分解。奇异值分解，矩阵?分解成三个矩阵乘积。?=???ᵀ。?是mn矩阵，?是mm矩阵，?是mn矩阵，?是nn矩阵。矩阵经定义后有特殊结构。矩阵?和?正交矩阵。?对角矩阵，不一定是方阵。

对角矩阵D对角线上元素为矩阵?的奇异值(singular value)。矩阵?的列向量为左奇异向量(left singular vector)，矩阵?的列向量为右奇异向量(right singular vector)。

可以用与?相关特征分解解释?的奇异值分解。?的左奇异向量(left singular vector)是??ᵀ的特征向量。?的右奇异向量(right singular vector)是?ᵀ?的特征向量。?的非零奇异值是?ᵀ?特征值的平方根，也是??ᵀ特征值的平方根。

SVD最有用性质，拓展矩阵求逆到非方矩阵。

参考资料：

《深度学习》

欢迎推荐上海机器学习工作机会，我的微信：qingxingfengzi

我有一个微信群，欢迎一起学深度学习。